Người Pháp không dễ dàng chịu mất Đông Dương nên đã tìm cách nổ súng để tái chiếm thuộc địa. Dù chống cự rất quyết liệt nhưng trước sức mạnh của quân Pháp, Nam Bộ nhanh chóng bị người Pháp kiểm soát phần lớn. Chiến sự dần mở rộng đến Trung Bộ. Tại Bắc Bộ, dù chính phủ đã cố gắng hòa hoãn bằng ngoại giao, nhưng người Pháp vẫn quyết tâm dùng vũ lực. Đến lượt Hà Nội bị quân Pháp tái chiếm. Ông cùng dân cư trong làng tản cư về Thanh Lũng, Sơn Tây.

Năm 1947, Chủ tịch Hồ Chí Minh cho người về tận Thanh Lũng mời ông ra tham gia Chính phủ nước Việt Nam Dân chủ Cộng hòa. Bấy giờ, ông đã biết vị Chủ tịch Chính phủ nước Việt Nam Dân chủ Cộng hòa là người bạn năm xưa, nên đã nhận lời[8]. Ông được đón lên Việt Bắc và được bổ nhiệm làm quyền Bộ trưởng Bộ Nội vụ vào tháng 11 năm 1947, thay cho cụ Huỳnh Thúc Kháng vừa qua đời lúc trước đó 7 tháng.

Ngày 19 tháng 8 năm 1948, được cử làm thành viên của Hội đồng Quốc phòng Tối cao đầu tiên của nước Việt Nam Dân chủ Cộng hòa vừa được thành lập do đích thân Chủ tịch Chính phủ làm Chủ tịch Hội đồng.[9]

Sau khi người Pháp rút khỏi Việt Nam, ông cùng các thành viên Chính phủ Việt Nam Dân chủ Cộng hòa trở về tiếp quản miền Bắc. Ngày 10 tháng 9 năm 1955, Đại hội Mặt trận Dân tộc thống nhất họp tại Hà Nội đã quyết định thành lập Mặt trận Tổ quốc Việt Nam. Ông được bầu làm Ủy viên Đoàn Chủ tịch Mặt trận Tổ quốc Việt Nam. Mười ngày sau đó, ngày 20 tháng 9, ông được bổ nhiệm làm Phó Thủ tướng Chính phủ kiêm Bộ trưởng Bộ Nội vụ Việt Nam. Ông tiếp tục được tái bổ nhiệm chức vụ này trong Chính phủ nhiệm kỳ Quốc hội khóa II.

Ngày 30 tháng 4 năm 1963, ông được thôi nhiệm Bộ trưởng Bộ Nội vụ Việt Nam. Người thay thế ông trong chức vụ này là Bộ trưởng Ngoại giao Ung Văn Khiêm.

Ông tiếp tục giữ chức vụ Phó Thủ tướng thêm 2 nhiệm kỳ nữa cho đến khi qua đời ngày 26 tháng 6 năm 1973.

Ngày 24 tháng 8 năm 2009, ông được Nhà nước Việt Nam truy tặng Huân chương Hồ Chí Minh vì sự nghiệp đóng góp của mình.[10]